Beliau dilahirkan di Kampung Kancut, Alor Star, Kedah dan mendapat pendidikan awal di sekolah Melayu di Jalan Bharu dan Sungai Korok sebelum melanjutkan pendidikan menengah di Kolej Sultan Abdul Hamid, Alor Star. Hajat beliau sambung belajar di Medical College, Raffles College di Singapura pada 1940 terbantut apabila Perang Dunia Kedua (PDII) meletus.

Beliau yang lebih dikenali dengan panggilan ‘Pak Khir’ mempunyai sembilan orang anak, lima daripadanya ialah perempuan. Antara anak beliau ialah Roselina Khir Johari (65-66 tahun) yang kini merupakan pensyarah di UM, ialah hasil perkahwinannya dengan isteri pertama, Puan Sri Kalsom Abdul Rahman (Che Tom) yang dikahwini pada 1943 iaitu semasa PDII. Che Tom meninggal dunia pada 20 September 1994.

Isteri keduanya, Puan Sri Cristine Lim Abdullah dikahwini pada Februari 1996.[1][2]